Avaliação do alcance das metas para a prevenção e controle das doenças crônicas não transmissíveis e da implementação de programas comunitários de atividade física no Brasil / Evaluation of goals achievement for the prevention and control of noncommunicable diseases and the implementation of community physical activity programs in Brazil

A avaliação de programas, políticas e ações de promoção da saúde é importante para determinar sua cobertura, acesso, equidade, qualidade técnica, relevância, efetividade, eficiência, impacto e sustentabilidade. O objetivo desta pesquisa foi avaliar o alcance das metas para a prevenção e o controle das doenças crônicas não transmissíveis (DCNTs) e a qualidade das avaliações realizadas sobre os programas comunitários de atividade física no Brasil. Trata-se de uma pesquisa avaliativa, dividida em três passos metodológicos. O primeiro está relacionado com a avaliação das metas de fatores de risco e a proteção para o enfrentamento das DCNTs; o segundo se refere à revisão de escopo sobre as abordagens e resultados das avaliações realizadas no Programa Academia da Saúde (PAS) e Programa Academia da Cidade (PAC) e o terceiro aborda a meta-avaliação dos processos avaliativos publicados sobre o PAS e o PAC. 1) Para avaliar o alcance das metas, foi realizado um estudo de série temporal com dados do Sistema de Vigilância de Fatores de Risco e Proteção para Doenças Crônicas por Inquérito Telefônico. Foram analisadas as tendências das prevalências de fumantes, obesidade, prática de atividade física, consumo de frutas e hortaliças e de bebidas alcoólicas e suas projeções lineares até 2025. Empregou-se a regressão de Prais-Winsten e utilizou-se a Série Temporal Interrompida de 2006 a 2014 e 2015 a 2019. 2) A revisão de escopo foi baseada na metodologia do Joanna Briggs Institute. Utilizaram-se as bases Medline, Lilacs, Scopus e Cochrane, o site do Programa Academia da Saúde, o Catálogo de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior e a Biblioteca Digital Brasileira de Teses e Dissertações. Incluíram-se estudos primários quantitativos ou qualitativos, sem limite temporal. 3) A meta-avaliação foi realizada a partir de estudos avaliativos provenientes da literatura. Aplicaram-se os parâmetros de utilidade, factibilidade, propriedade e acurácia, propostos pela Joint Committee on Standards for Educational Evaluation e os critérios de especificidade referentes à avaliação de ações de promoção de saúde comunitária. Os resultados mostraram que, entre 2006 e 2014, houve redução de fumantes (15,6 para 10,8%), aumento da obesidade (11,8 para 17,9%), do consumo de frutas e hortaliças (20,0 para 24,1%), de atividade física (29,9 para 35,3%) e de uso de álcool (15,6 para 16,5%). A maioria dos indicadores demonstrou pior desempenho a partir de 2015. Pelas projeções, as metas de deter a obesidade e reduzir o uso de álcool não seriam atingidas. Por meio da revisão de escopo, selecionaram-se 24 publicações, entre 2009 e 2020. Elas foram subdivididas de acordo com as abordagens de avaliação: avaliabilidade, sustentabilidade, processo, resultado e grau de inferência, as quais evidenciaram que os programas oferecem diversas atividades, impactam positivamente os indicadores de saúde dos usuários e contribuem para o aumento de atividade física no lazer. Foram selecionados para meta-avaliação 18 estudos avaliativos realizados no PAS e no PAC. O princípio de utilidade foi atendido totalmente em 50%, sendo que 27,8% foram classificados como muito bons, 5,6% bons e 16,7% razoáveis. O princípio de propriedade obteve, principalmente, o resultado muito bom (44,4%), seguido de excelente (38,9%), bom (11,1%) e fraco (5,6%). O princípio de acurácia foi classificado como excelente em 44,4% dos estudos, sendo 33,3% foram muito bons; 11,1% bons e 11,1% razoáveis. A especificidade foi classificada como muito boa em 94,4% dos estudos. Diante dos achados, as avaliações realizadas nos programas comunitários de atividade física foram satisfatórias e cumpriram os requisitos de qualidade. A avaliação das metas para a prevenção e o controle das DCNTs mostrou mudanças no comportamento dos indicadores, o que reforça a importância da avaliação, da sustentabilidade das ações, políticas e dos programas de promoção da saúde e de controle dessas doenças e seus fatores de risco, especialmente em tempos de instabilidade político-econômica e ameaça a direitos sociais e de saúde.

The evaluation of health promotion programs, policies and actions is important to determine their coverage, access, equity, technical quality, relevance, effectiveness, efficiency, impact and sustainability. The objective of this research was to evaluate the achievement of goals for the prevention and control of non-communicable diseases (NCD) and the quality of the evaluations carried out on community physical activity programs in Brazil. This is an evaluative research, divided into three methodological stages. The first one is related to the assessment of risk and protective factors goals for coping with NCDs, the second refers to the review of responses and results scope of the evaluations carried out in the Programa Academia da Saúde (PAS) and the Programa Academia da Cidade (PAC), and the third addresses the meta-evaluation of the evaluated processes on the PAS and the PAC. 1) To assess the achievement of goals, a time series study was carried out with data from the Surveillance System for Risk and Protection Factors for Chronic Diseases by Telephone Survey. Trends in the prevalence of smokers, obesity, physical activity, consumption of fruits and vegetables and alcoholic beverages, and their linear projections up to 2025, were analyzed. The Prais-Winsten regression and Interrupted Time Series for 2006-2014 and 2015-2019 were used. 2) The scope review was based on the Joanna Briggs Institute methodology. The MEDLINE, LILACS, Scopus and COCHRANE databases, the Programa Academia da Saúde website, the Theses and Dissertations Catalog of the Coordination for the Improvement of Higher Education Personnel and the Brazilian Digital Library of Theses and Dissertations were used. Quantitative or qualitative primary studies, with no time limit, were included. 3) The meta-evaluation was carried out based on evaluative studies from the literature. The parameters of utility, feasibility, propriety, and accuracy, proposed by the Joint Committee on Standards for Educational Evaluation, and specificity criteria referring to the evaluation of community health promotion actions were applied. The results showed that, between 2006 and 2014, there was a reduction in smokers (from 15.6% to 10.8%), an increase in obesity (from 11.8% to 17.9%), in the consumption of fruits and vegetables (from 20.0% to 24.1%), physical activity (from 29.9% to 35.3%) and alcohol use (from 15.6% to 16.5%). Most indicators showed worse performance as of 2015. According to projections, the goals of stopping obesity and reducing alcohol use would not be achieved. Through the scope review, 24 publications were selected, between 2009 and 2020. They were subdivided according to the evaluation approaches: evaluability, sustainability, process, result and degree of inference, which showed that the programs offer several activities, they positively impact the health indicators of users and contribute to the increase in leisure-time physical activity. Eighteen evaluative studies carried out in the PAS and the PAC were selected for meta-evaluation. The utility principle was fully met in 50%, with 27.8% being classified as 'very good', 5.6% 'good' and 16.7% 'fair'. The principle of propriety mainly obtained the result of 'very good' (44.4%), followed by 'excellent' (38.9%), 'good' (11.1%) and 'poor' (5.6%). The accuracy principle was rated as 'excellent' in 44.4% of the studies, with 33.3% being 'very good'; 11.1% good and 11.1% 'fair'. Specificity was rated 'very good' in 94.4% of the studies. In view of the findings, the assessments carried out in community physical activity programs were satisfactory and met the quality requirements. The evaluation of the goals for the prevention and control of NCD showed changes in the behavior of the indicators, which reinforces the importance of evaluating the sustainability of actions, policies and programs for health promotion and control of these diseases and their risk factors, especially in times of political and economic instability and threat to social and health rights.

Avaliação da atenção primária à saúde e a incorporação da tecnologia da informação para a melhoria da qualidade da avaliação / Evaluation of primary health care and the incorporation of information technology to improve the quality of the evaluation

Apesar da ascendência de avaliações na Atenção Primária à Saúde, com possibilidades para o desenvolvimento de meta-avaliações, bem como, o incremento de investimentos e acesso às Tecnologias da Informação, com aumento de sua aplicabilidade em processos avaliativos, principalmente, para a coleta de dados e disseminação dos resultados, até o momento, são incipientes estudos meta-avaliativos que evidenciem as consequências das relações que se estabelecem entre as tecnologias e os avaliadores na qualidade da avaliação. Utilizando a Scoping Review, o Estudo de Caso e a estrutura conceitual da sociomaterialidade, esta tese procurou contribuir para este campo de pesquisa e para as práticas avaliativas, avaliando a incorporação da Tecnologia da Informação na avaliação da Atenção Primária à Saúde no Brasil considerando os padrões internacionais de qualidade. A Scoping Review teve o objetivo de mapear os usos da meta-avaliação dos estudos avaliativos desenvolvidos na Atenção Primária à Saúde. Foram incluídos 23 estudos, publicados entre 1999 e 2018, predominantemente realizados no Brasil. Tiveram mais ênfase as meta-avaliações somativas, com foco em programas de saúde e na gestão da Atenção Primária, que utilizaram como padrões avaliativos os recomendados pelo Joint Committeeon Standards for Educational Evaluation. O Estudo de Caso teve abordagem qualitativa. Participaram 07 técnicos da coordenação do Ministério da Saúde e 47 pesquisadores de Instituições de Ensino e Pesquisa, com uma amostra total de54 participantes. A coleta de dados ocorreu entre julho de 2018 a julho de 2019, utilizaram-se entrevistas, grupos focais e análise documental. Os dados foram categorizados por padrões de qualidade com uso do software Atlas ti, seguido de análise de conteúdo de Bardin. Para o estudo de caso sobre coleta de dados, os resultados evidenciaram que a tecnologia viabilizou a realização da avaliação em todo território nacional; contribuiu para a operacionalização de uma avaliação com grande escopo temático; forneceu recursos para a gestão da atividade de campo; minimizou erros, agilizou e homogeneizou a coleta; garantiu a integralidade das informações necessárias com o mínimo de inconsistência, permitindo o alcance de resultados uteis e válidos para certificação das equipes, políticas de saúde e pesquisas. Além disto, fatores como dificuldade de manuseio, inoperância do sistema e falta de investimentos em equipamentos e recursos humanos podem representar possíveis restrições para a eficiência da aplicação da tecnologia na avaliação. Quanto ao estudo sobre disseminação dos resultados, constaram-se avanços na visualização dos dados e na implementação de iniciativas de dados abertos, possibilitando sua disponibilidade para profissionais, formuladores de políticas e universidades. Desafios relacionados ao tempo de entrega dos relatórios, restrição de acesso, referência à falta de interesse e habilidades digitais, influenciaram no alcance dos objetivos esperados pelo proponente da avaliação. Considera-se que a incorporação da Tecnologia da Informação tem potencial ao alcance de padrões de qualidade, oportunizando a implementação de avaliações mais eficazes, com a produção de melhores resultados, atuando construtivamente no processo de melhorias de desempenho das equipes de saúde e da gestão, induzindo a redefinição dos seus processos prioritários de trabalho, com vistas ao aprimoramento e fortalecimento da Atenção Primária à Saúde (AU).

Despite the ascendancy of evaluations in Primary Health Care, with possibilities for the development of meta-evaluations, as well as the increase in investments and access to Information Technologies, with an increase in its applicability in evaluation processes, mainly for the collection of data and dissemination of results, so far, are incipient meta-evaluative studies that show the consequences of the relationships established between technologies and evaluators in the quality of the assessment. Using the Scoping Review, the Case Study, and the conceptual structure of sociomateriality, this thesis sought to contribute to this field of research and evaluative practices, evaluating the incorporation of Information Technology in the evaluation of Primary Health Care in Brazil considering international quality standards. The scoping review was developed following the Joanna Briggs Institute manual to map the uses of the meta-evaluation of evaluative studies carried out in Primary Health Care. 23 studies, published between 1999 and 2018, predominantly carried out in Brazil, were included. There was more emphasis on summative meta-evaluations, with a focus on health programs and on the management of Primary Care, which used as evaluative standards those recommended by the Joint Committee on Standards for Educational Evaluation. The Case Study had a qualitative approach. 07 technicians from the coordination of the Ministry of Health and 47 researchers from Education and Research Institutions participated, with a total sample of 54 participants. Data collection took place between July 2018 and July 2019, using interviews, focus groups, and document analysis. Data were categorized by quality standards using the Atlas ti software followed by Bardin's content analysis. For the case study on data collection, the results showed that the technology made it possible to assess the national territory; contributed to the operationalization of an assessment with a large thematic scope; provided resources for field activity management; minimized errors, streamlined and homogenized the collection; ensured the completeness of the necessary information with a minimum of inconsistency, allowing the achievement of useful and valid results for the certification of teams, health policies and research. In addition, factors such as difficulty in handling, inoperability of the system, and lack of investment in equipment and human resources can represent possible restrictions for the efficiency of the application of technology in the assessment. As for the study on the dissemination of results, advances were found in data visualization and the implementation of open data initiatives, enabling its availability to professionals, policymakers and universities. Challenges related to reporting delivery time, access restriction, reference to lack of interest, and digital skills influenced the achievement of the objectives expected by the evaluation proponent. It is considered that the incorporation of Information Technology has the potential to reach quality standards, providing opportunities for the implementation of more effective assessments, with the production of better results, acting constructively in the process of improving the performance of health and management teams, inducing the redefinition of its priority work processes, to improve and strengthen Primary Health Care (AU).

Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva / Parameters and paradigms for meta-evaluation: an exploratory and reflective review

A avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, trata-se de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores. No presente artigo, pretendemos abordar algumas possibilidades da meta-avaliação no campo da avaliação de programas e serviços: fomentar a interação entre a produção teórica e prática no campo; auxiliar no balizamento de métodos e estratégias em uma área marcada por interesses políticos e pela profusão de possibilidades metodológicas; e fomento do rigor ético e científico das práticas avaliativas. Concluiremos esta resenha exploratória da literatura discutindo algumas questões históricas e políticas envolvendo a avaliação e a meta-avaliação de programas e serviços, apresentando críticas às pretensões universalistas e igualitárias presentes em alguns posicionamentos.

The evaluation of an evaluation is not a mere play on words or simply an investigation into the person who evaluates the evaluation. It is far more than that. It is about how to evaluate the diverse components of the evaluation process and the evaluators per se. In this paper, we discuss some promising possibilities for meta-evaluation in the field of evaluation of programs and services. These include fostering interaction between theoretical and practical production in fieldwork and supporting the definition of methods and strategies in a sector imbued with political interests and a profusion of methodological possibilities, and promoting ethical and scientific rigor in the evaluation practices. We conclude this exploratory and reflective review by raising some historical and political questions related to evaluation and meta-evaluation of programs and services and by criticizing the universalist and egalitarian pretensions contained in some evaluation approaches.

Meta-avaliação no contexto do Movimento Internacional Cidade Saudáveis: aplicação dos parâmetros e diretrizes do JCSEE (2011) e considerações de alguns aspectos éticos em questão

A preocupação com o planejamento das cidades e sua relação com as condições de vida das pessoas e das coletividades não é uma novidade na história da saúde coletiva. Desde a década de 1980, a proposta de promoção da saúde, intitulada Cidades Saudáveis, vem se apresentando como uma estratégia viável e efetiva de planejamento sustentável local, tendo como eixo norteador a melhoria na qualidade de vida das pessoas e das coletividades. Ao longo dos anos de implantação dessa estratégia, diversos estudos foram desenvolvidos e um número significativo de indicadores gerados, buscando avaliar os processos e os resultados relacionados a essa proposta de promoção da saúde. O objetivo desta pesquisa foi avaliar os estudos avaliativos relatados por autores, em artigos científicos, no contexto do Movimento Internacional Cidades Saudáveis. Para tanto, realizou-se um estudo documental, com o cumprimento de etapas desde a seleção das fontes e do material de consulta até a descrição de alguns componentes das práticas avaliativas, sendo, posteriormente, o material submetido à análise e avaliação da qualidade, a partir dos parâmetros e diretrizes atuais, elaborados pelo Joint Committee on Standards for Educational Evaluation(JCSEE). Visando uma maior comparabilidade entre os parâmetros e diretrizes utilizados, empregou-se uma valoração e classificação dos escores obtidos, bem como o tratamento estatístico dos dados. Para completar a pesquisa metaavaliativa proposta, alguns aspectos éticos sobre o parâmetro da Utilidade foram considerados e discutidos, à luz da Teoria da Ciência do Comportamento. Os resultados evidenciaram que a maioria das avaliações apresentou um bom desempenho, havendo uma predominância de 46% de práticas definidas como boas e que uma pequena parte dos estudos (8%) avaliada como fraca.

O parâmetro viabilidade apresentou a melhor porcentagem de estudos avaliativos classificados como excelentes e nenhum registro na categoria fraco, sendo notada a maior ocorrência dessa classificação no critério propriedade. O parâmetro responsabilidade só apresentou registro de informações sobre as práticas avaliativas em quatro artigos selecionados. As diretrizes que apresentaram dados mais discrepantes e merecedores de atenção foram U3 – Propósitos negociados; U5 – Informação Relevante; U6 – Processos e Produtos Significativos; F3 –Viabilidade contextual, P1 – Orientação Responsiva e Inclusiva; P2 – Acordos Formais; P4 – Transparência e Justiça e P6 – Conflitos e interesses. No parâmetro precisão, foram encontrados os melhores resultados avaliativos e com menos variações. Com relações à análise dos valores primários presentes nas práticas avaliativas, a categoria comportamental bens dos outros foi identificada em todos os artigos, seja ocorrendo isoladamente (10 artigos) ou em combinação com as outras categorias. Bens pessoais e bens das culturas não apareceram separadamente na amostra selecionada. Além desses valores primários, vinte e nove categorias relativas aos valores instrumentais foram registradas, notando-se as presenças marcantes dos valores participação e intersetorialidade. Por fim, considera-se importante e necessário o estímulo à realização de outras pesquisas meta-avaliativas no contexto do Movimento Internacional Cidades Saudáveis, bem como uma atenção especial ao processo de explicitação de valores, negociação e mediação de conflitos e interesses, em iniciativas envolvendo os temas promoção da saúde e processos urbanos

Meta-avaliação no contexto do Movimento Internacional Cidade Saudáveis: aplicação dos parâmetros e diretrizes do JCSEE (2011) e considerações de alguns aspectos éticos em questão / Meta-evaluation in the context of the International Healthy City: application parameters and guidelines JCSEE (2011) and some ethical considerations involved

A preocupação com o planejamento das cidades e sua relação com as condições de vida das pessoas e das coletividades não é uma novidade na história da saúde coletiva. Desde a década de 1980, a proposta de promoção da saúde, intitulada Cidades Saudáveis, vem se apresentando como uma estratégia viável e efetiva de planejamento sustentável local, tendo como eixo norteador a melhoria na qualidade de vida das pessoas e das coletividades. Ao longo dos anos de implantação dessa estratégia, diversos estudos foram desenvolvidos e um número significativo de indicadores gerados, buscando avaliar os processos e os resultados relacionados a essa proposta de promoção da saúde. O objetivo desta pesquisa foi avaliar os estudos avaliativos relatados por autores, em artigos científicos, no contexto do Movimento Internacional Cidades Saudáveis. Para tanto, realizou-se um estudo documental, com o cumprimento de etapas desde a seleção das fontes e do material de consulta até a descrição de alguns componentes das práticas avaliativas, sendo, posteriormente, o material submetido à análise e avaliação da qualidade, a partir dos parâmetros e diretrizes atuais, elaborados pelo Joint Committee on Standards for Educational Evaluation(JCSEE). Visando uma maior comparabilidade entre os parâmetros e diretrizes utilizados, empregou-se uma valoração e classificação dos escores obtidos, bem como o tratamento estatístico dos dados. Para completar a pesquisa metaavaliativa proposta, alguns aspectos éticos sobre o parâmetro da Utilidade foram considerados e discutidos, à luz da Teoria da Ciência do Comportamento. Os resultados evidenciaram que a maioria das avaliações apresentou um bom desempenho, havendo uma predominância de 46% de práticas definidas como boas e que uma pequena parte dos estudos (8%) avaliada como fraca.

O parâmetro viabilidade apresentou a melhor porcentagem de estudos avaliativos classificados como excelentes e nenhum registro na categoria fraco, sendo notada a maior ocorrência dessa classificação no critério propriedade. O parâmetro responsabilidade só apresentou registro de informações sobre as práticas avaliativas em quatro artigos selecionados. As diretrizes que apresentaram dados mais discrepantes e merecedores de atenção foram U3 – Propósitos negociados; U5 – Informação Relevante; U6 – Processos e Produtos Significativos; F3 –Viabilidade contextual, P1 – Orientação Responsiva e Inclusiva; P2 – Acordos Formais; P4 – Transparência e Justiça e P6 – Conflitos e interesses. No parâmetro precisão, foram encontrados os melhores resultados avaliativos e com menos variações. Com relações à análise dos valores primários presentes nas práticas avaliativas, a categoria comportamental bens dos outros foi identificada em todos os artigos, seja ocorrendo isoladamente (10 artigos) ou em combinação com as outras categorias. Bens pessoais e bens das culturas não apareceram separadamente na amostra selecionada. Além desses valores primários, vinte e nove categorias relativas aos valores instrumentais foram registradas, notando-se as presenças marcantes dos valores participação e intersetorialidade. Por fim, considera-se importante e necessário o estímulo à realização de outras pesquisas meta-avaliativas no contexto do Movimento Internacional Cidades Saudáveis, bem como uma atenção especial ao processo de explicitação de valores, negociação e mediação de conflitos e interesses, em iniciativas envolvendo os temas promoção da saúde e processos urbanos